Encore: Infinite Audio-Video Generation with Adaptive Signal Routing
Encore：利用自适应信号路由实现无限音视频生成
🧭 长音频视频生成与跨模态合成
Baidu · Beijing Institute of Technology
提出长音频视频联合生成框架Encore，通过自适应信号路由解决跨模态长时一致性
📌 工作参考价值（4 点）
- 长序列多模态生成可借鉴双通路设计：局部连续性用 chunk 迭代加显式跨 chunk 上下文传递，全局一致性用参考信号加 shifted position embedding，电商短视频、直播切片自动配音等场景可复用。
- Adaptive Signal Routing 的 learnable attention biases 与 residual scales 是通用插件，可控制多模态生成中不同 conditioning 信号（文案、画面、背景音乐）的权重，适合商品视频生成中的模态协调。
- 推理阶段持续对 ground-truth modality 做 conditioning，实现无限长度 audio-to-video / video-to-audio，能迁移到为已有商品图生成配音、或为音频补全视频帧等交互式素材生成。
- 注意：该工作属于多模态生成模型，非推荐系统本身，但可作为内容供给侧自动生成工具，提升电商内容生态丰富度。